# 설명변수의 분산## 개요

회귀분석(Regression Analysis)은 종속변수(dependent variable)와 이상의 독립변수(independent variable) 간의 관계를 모델링하고 분석하는 통계적 기법이다. 이 과정에서 독립변수는 일반적으로 **설명변수**(explanatory variable) 또는 **예측변수**(predictor variable)라고도 불리며, 종속변수의 변동을 설명하는 데 사용된다. 이 문서에서는 회귀분석에서 **설명변수의 분산**(variance of explanatory variables)이 가지는 중요성, 통계적 의미, 그리고 분석 결과에 미치는 영향에 대해 심층적으로 다룬다.

설명변수의 분산은 단순한 기술통계량을 넘어서 회귀 모델의 정확성, 추정된 회귀계수의 신뢰도, 그리고 다중공선성(multicollinearity) 문제와 밀접한 관련이 있다. 따라서 회귀분석을 수행하기 전에 설명변수의 분산을 점검하고 적절히 처리하는 것은 모델의 신뢰성 확보를 위한 핵심 단계이다.

---

## 설명변수의 분산이란?

### 정의

**설명변수의 분산**(Variance of Explanatory Variables)은 특정 설명변수의 관측값들이 평균을 중심으로 얼마나 흩어져 있는지를 나타내는 통계량이다. 수학적으로, 설명변수 $ X $의 분산은 다음과 같이 정의된다:

$$
\text{Var}(X) = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2
$$

여기서:
- $ X_i $: $ i $번째 관측치
- $ \bar{X} $: 설명변수 $ X $의 평균
- $ n $: 관측치의 수

분산이 클수록 데이터가 평균에서 멀리 퍼져 있으며, 분산이 작을수록 데이터가 평균 근처에 집중되어 있다.

---

## 설명변수의 분산이 회귀분석에 미치는 영향

### 1. 회귀계수 추정의 정밀도

설명변수의 분산은 회귀계수 추정의 **표준오차**(standard error)에 직접적인 영향을 미친다. 단순선형회귀모델에서 기울기 계수 $ \beta_1 $의 표준오차는 다음과 같은 형태로 표현된다:

$$
\text{SE}(\hat{\beta}_1) = \sqrt{ \frac{\text{Var}(\varepsilon)}{(n-1)\text{Var}(X)} }
$$

여기서 $ \text{Var}(\varepsilon) $는 잔차의 분산이다. 위 식에서 알 수 있듯이, 설명변수 $ X $의 분산이 클수록 $ \text{SE}(\hat{\beta}_1) $는 작아지고, 이는 회귀계수 추정이 더 **정밀**해진다는 의미이다. 반대로 분산이 매우 작으면, 회귀계수의 추정이 불안정해지고 신뢰구간이 넓어진다.

> 🔍 **예시**: 어떤 연구에서 학생의 공부 시간이 시험 성적에 미치는 영향을 분석한다고 하자. 만약 모든 학생의 공부 시간이 거의 동일하다면(분산이 거의 0), 공부 시간의 영향을 정확히 추정하기 어렵다.

---

### 2. 모델의 설명력과 분산의 관계

설명변수의 분산은 회귀모델의 **설명력**(explanatory power), 즉 결정계수 $ R^2 $에도 영향을 준다. 설명변 거의 변하지 않는 경우, 그 변수는 종속변수의 변동을 잘 설명할 수 없으므로 모델의 $ R^2 $ 값이 낮아진다.

- **분산이 큰 설명변수**: 다양한 값을 가지므로 종속변수와의 관계를 더 잘 포착 가능.
- **분산이 작은 설명변수**: 정보량이 적어 모델에 기여도가 낮음.

---

### 3. 다중공선성 문제와 분산

다중회귀분석에서 두 개 이상의 설명변수가 서로 높은 상관관계를 가질 경우, **다중공선성**(multicollinearity) 문제가 발생한다. 이는 회귀계수 추정의 불안정성과 표준오차의 과대추정을 초래한다.

특히, 설명변수의 분산이 작고 다른 변수와 높은 상관을 가질 경우, **조건지수**(condition index)가 증가하여 다중공선성 문제가 심화된다. 따라서 회귀분석 전에 각 설명변수의 분산과 상관행렬을 점검하는 것은 중요하다.

---

## 분산의 전처리 및 변환

### 1. 표준화(Standardization)

설명변수의 분산이 너무 크거나 작을 경우, 변수를 **표준화**하여 평균 0, 분산 1을 갖도록 조정할 수 있다. 표준화된 변수는 다음과 같이 계산된다:

$$
Z = \frac{X - \bar{X}}{\sigma_X}
$$

이를 통해 변수 간의 척도 차이를 제거하고, 회귀계수의 해석을 용이하게 한다. 특히, Lasso나 Ridge 회귀와 같은 정규화(regularization) 기법을 사용할 때 필수적이다.

---

### 2. 로그 변환 또는 제곱근 변환

분산이 매우 큰 왜도(skewed) 데이터의 경우, 로그 변환($ \log(X) $)이나 제곱근 변환($ \sqrt{X} $)을 통해 분산을 안정화시킬 수 있다. 이는 회귀모델의 가정(예: 등분산성)을 만족시키는 데 도움을 준다.

---

### 3. 이상치 제거

이상치(outlier)는 설명변수의 분산을 부자연스럽게 크게 만들 수 있다. 따라서 데이터 전처리 단계에서 이상치를 탐지하고 적절히 처리하는 것이 중요하다.

---

## 실무적 고려사항

- **분산이 0인 변수 제거**: 모든 관측치가 동일한 값을 가지는 설명변수는 분석에 의미가 없으므로 제거해야 한다.
- **낮은 분산 변수의 재검토**: 분산이 극도로 낮은 변수는 측정 오류 또는 샘플링 편의를 의심해볼 필요가 있다.
- **다중회귀에서의 분산 공유**: 설명변수들 간에 분산이 공유되는 경우(VIF 계산 필요), 모델 해석에 주의가 필요하다.

---

## 관련 개념 및 참고 자료

| 개념 | 설명 |
|------|------|
| **VIF**(Variance Inflation Factor) | 설명변수의 분산이 다중공선성으로 인해 얼마나 증가했는지를 나타내는 지표. 일반적으로 VIF > 10이면 문제로 간주. |
| **조건지수**(Condition Index) | 다중공선성을 진단하는 지표. 30 이상이면 심각한 공선성 가능성 있음. |
| **표준화 회귀계수**(Standardized Coefficients) | 분산의 영향을 제거하고 변수 간 비교를 용이하게 하는 계수. |

---

## 결론

설명변수의 분산은 회귀분석의 기초이자 핵심 요소이다. 충분한 분산을 가진 설명변수는 모델의 추정 정확도를 높이고, 신뢰도 있는 통계적 추론을 가능하게 한다. 반면, 분산이 낮거나 불균형한 경우 모델의 성능 저하, 해석의 어려움, 다중공선성 등의 문제를 유발할 수 있다. 따라서 회귀분석을 수행하기 전에는 반드시 설명변수의 분산을 점검하고, 필요시 표준화, 변환, 또는 변수 선택을 통해 적절히 조정해야 한다.

---

## 참고 자료

- Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). *Applied Linear Statistical Models* (5th ed.). McGraw-Hill.
- James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). *An Introduction to Statistical Learning*. Springer.
- Montgomery, D. C., Peck, E. A., & Vining, G. G. (2021). *Introduction to Linear Regression Analysis*. Wiley.